Spójność

Wczytywanie pakietów

Zacznijmy od najważniejszej rzeczy czyli od załadowania pakietów. Ja wiem, że to jest oczywiste, ale zasadniczo bez tego ani rusz. Zwłaszcza jeśli chodzi o RMarkdown jest to kluczowe. Kod, który jest w RMarkdown musi być samowystarczalny. Nie może od niczego zależeć. Pierwsze linijki służą do zainstalowania potrzebnych nam pakietów i tak naprawdę trzeba to zrobić tylko raz w życiu (no dobra więcej razy ale na ten moment nie ma to znaczenia).

packages<- c("reshape2","ggplot2","Hmisc","plyr")
if (length(setdiff(packages, rownames(installed.packages()))) > 0) {
  install.packages(setdiff(packages, rownames(installed.packages())))  
}
library(reshape2)
library(ggplot2)
library(Hmisc)
library(plyr)

Wczytywanie danych i zapisywanie

Druga rzecz, która jest dość istotna to wczytanie danych. Jest cała masa sposobów na robienie tego. Od klikania po wpisywanie ścieżki. Ja osobiście preferuje ten drugi sposób, głównie dlatego, że łatwiej utrzymać wtedy reprodukowalność kodu. Moje dwie ulubione funkcje to read.csv() i spss.get(). Poniżej kod, który służy do wczytania danych z SPSSa i pliku csv. Tak jak widać pierwsze argumenty są bliźniaczo podobne - jest to po prostu nazwa pliku. Pozostałe mówią same za siebie. Pozornie z plikami csv nie ma problemu ale czasem może się zdarzyć, że nie chcemy żeby pierwszy wiersz był traktowany jako nazwy kolumn i wtedy po prostu trzeba zmienić ustawienie defultowe funkcji, czasem też kolejne wartości są od siebie oddzielone nie średnikami, a przecinkami - też trzeba to podać jako argument. Żeby to zrobić to po prostu trzeba wpisać w konsole ?read.csv i przeczytać w dokumentacji.

table_mean <- read.csv("table_mean.csv")
badanie_1 <- spss.get("obrazki - gra1.sav",use.value.labels = T, to.data.frame = T)

obrazki - gra1.sav: Very long string record(s) found (record type 7, subtype 14), each will be imported in consecutive separate variables

Zapisywanie danych w pliku jest banalnie proste. Ja najczęściej zapisuje dane w csv za pomocą funkcji write.csv(). Tak samo jak w przypadku read.csv() może mieć wiele argumentów ale najważniejsze są dwa pierwsze czyli nazwa obiektu do zapisania oraz nazwa pliku do którego ma zostać zapisany.

Jak już jesteśmy przy argumentach funkcji to ważną rzeczą jest to, że przy argumentach logicznych może pisać TRUE i FALSE albo T i F. Nie ma to znaczenia, ale jak radzi John Fox (<3) lepiej pisać pełne ‘TRUE’ i FALSE bo o ile można przypisać wartość T i F to ‘TRUE’ i FALSE się nie da. Może się potem okazać, że coś nam przez to nie działa.

Oglądanie danych

Jak już mamy wczytane dane, to dobrze byłoby je zobaczyć. Znowu jest wiele metod, żeby to zrobić. Szymon pokazał fajną nakładkę na data.frame, dlatego ja tylko zasygnalizuje, że można skorzystać ogólnie podzielić metody na takie, które wyświetlą wynik w konsoli i takie, które otworzą oddzielne okno. Funkcja View() wyświetli wynik w oddzielnym oknie, natomiast print() czy po prostu otoczenie nazwy w nawiasy wyświetli wynik w konsoli. Poza tym dwie przydatne funkcje to head() i tail(), pokazują one w konsoli odpowiednio ileś tam pierwszych i ostatnich wierszy. Poniżej przykłady.

# z jakiś przyczyn View nie działa. Nagle przestało działać, więc nie miałem czasu rozwiązać tego problemu
#View(badanie_1)
View(table_mean)
(badanie_1)

print(badanie_1)

head(badanie_1,10)

tail(badanie_1,10)

Przetwarzanie danych z Ariadny

W dalszej części tego pliku jest pokazane jak ja radzę sobie z danymi z Ariadny. Konkretnie z danymi z badania ze zdjęciami. Na pewno jest milion różnych sposobów na poradzenie sobie z takimi danymi i w cale nie uważam, że mój jest najlepszy ale po prostu działa. Z resztą po rozmowie z Szymonem już wiem, że On by różne rzeczy w tym kodzie zrobił zupełnie inaczej.

Klikacze i nudziarze

Dla mnie dość ważną rzeczą jest zrozumienie z jakimi danymi mam doczynienia. Podejrzewam, że każdy tak robi. Ja ogólnie lubię sobie wszytko zobaczyć bo inaczej jest mi trudno sobie wyobrazić. Poniżej są dwa wykresy, jeden to histogram czasu wypełniania, a drugi to boxplot tego samego czasu. Oczywiście jest wiele różnych sposobów na robienie wykresów ale mnie ostatnio John Fox (<3) przekonał do pakietu graphics. Nie wchodząc zbytnio w szczegóły John Fox zawsze ma rację i Jego racja jest lepsza niż innych. Jak (jeśli) będziemy rozmawiać o wizualizacji to wtedy powiemy czym różnią się od siebie różne pakiety graficzne.

hist(badanie_1$czas,main="Histrogram czasu w badaniu 1",xlab="Czas",ylab="Liczebność")

boxplot(badanie_1$czas, main="Boxplot czasu w badaniu 1",ylab="Czas")

Jak wiadomo z czasami na Ariadnie to nie jest wcale tak łatwo, bo jest dużo “klikaczy”, lub też osób, które zostawiają badanie i ono trwa miliard lat. Dlatego warto poza wykresami zobaczyć podstawowe wartości. Te funkcje są dość oczywiste, więc nie ma się w nie co za bardzo zagłębiać.

(range(badanie_1$czas))

[1]  24 832

(mean(badanie_1$czas))

[1] 128.2279

(median(badanie_1$czas))

[1] 109

Usuwanie niepotrzebnych wierszy

Jeśli zaś chodzi o usuwanie niepotrzebnych wierszy czy też filtrowanie obserwacji to jest na to parę różnych sposobów. Jeśli powiedzmy, że chcemy usunąć wszystkie rekordy z czasami poniżej minuty to ja osobiście robię to w sposób następujący (ma to swoje wady i zalety ale o tym za moment).

(badanie_1[badanie_1$czas>60,])

Jak łatwo się domyślić główną wadą tego rozwiązania jest fakt, że jeśli jest więcej warunków to trzeba strasznie uważać, żeby się nie pomylić. Warto więc skontrolować za pomocą funkcji range(), czy też funkcji table() czy mamy wszystkie obserwacje, które chcieliśmy czy może mamy ich za dużo lub za mało. Niestety w R tak już jest, że często funkcja nam zadziała ale wcale nie musi robić tego czego od niej oczekiwaliśmy. Wyobraźmy sobie, że chcemy wziąć czasy powyżej 60 oraz wszystkich mężczyzn.

badanie_1_tylko_M <- badanie_1[((badanie_1$czas>60) + (badanie_1$sex=="Mężczyzna"))>1,]
(table(badanie_1_tylko_M$sex))

  Kobieta Mężczyzna 
        0       439 

Według mnie najrozsądniejszym sposobem jest rozbijanie tego typu wyboru obserwacji na mniejsze części, tzn. najpierw wybrać obserwacje z czasami poniżej 60 i zapisać jako oddzielny plik, potem dopiero podzielić na mężczyzn i kobiety. Z resztą jeśli chodzi o zmienne dychotomiczne to polecam następujący trick.

rows_with_men <- badanie_1$sex=="Mężczyzna"
(table(badanie_1$sex[rows_with_men]))

  Kobieta Mężczyzna 
        0       503 

(table(badanie_1$sex[!rows_with_men]))

  Kobieta Mężczyzna 
      585         0 

No ale przejdźmy dalej z naszym zbiorem danych. Zamieńmy zbiór danych z wszystkimi obserwacjami w taki, w którym będą tylko obserwacje z czasami powyżej 60 sekund. Jak w programach kulinarnych ja już taki zbiór danych mam gotowy.

badanie_1 <- badanie_1[badanie_1$czas>60,]
(range(badanie_1$czas))

[1]  61 832

Poniżej jest funkcja, która jest dość przydatna i którą będę wykorzystywał jeszcze w tym skrypcie colnames(). Zwraca po prostu wektor nazw kolumn. W tym przypadku zmieniam nazwę 14 kolumny na “blok”. Robię to ponieważ to co dziś pokazuje to jest tylko fragment większej analizy i pisałem funkcje uniwersalne do analizowania wielu zbiorów danych. W pozostałych zbiorach danych w kolumnie blok były zapisane warunki, więc tak było po prostu łatwiej.

colnames(badanie_1)[14]<-"blok"

Usuwanie kolumn z brakami danych

Tak jak mówiłem na początku ten zbiór danych ma dość pokrętny sposób zapisywania warunków. Związane jest to głównie ze sposobem w jaki Ariadna wyświetla osobom badanym ankiety. Nie wchodząc w szczegóły zamiast z bazy danych losować tylko te zdjęcia, które trzeba, oni zakrywają te, których nie trzeba. Różnica mała ale straszliwie komplikuje życie. Żeby się z tym uporać ja napisałem sobie następującą funkcję. Jeśli chodzi o pisanie funkcji czy też jakiegokolwiek programów to rozmawiałem kiedyś z Marcinem Możejko, który pokazywał mi jakiś strasznie wydawałoby mi się zawiły kod. Powiedział wtedy, że ogólnie informatycy zaczynają pisanie funkcji od środka i mi to utkwiło w pamięci i tak staram się robić. Ogólnie za pomocą tej funkcji chciałem pozbyć się kolumn wypełnionych samymi brakami danych.

split_and_remove<-function(table){
  #za pomocą funkcji apply przeszukuje zbiór danych w ten sposób, żeby znaleźć kolumny wypełnione samymi brakami danych
  columns_with_na<-apply(table,2,function(x){
    return(sum(is.na(x)))
  })>(dim(table)[1]-1)
  #wybieram tylko te kolumny, które nie mają braków danych
  wynik<-table[,!columns_with_na]
  #szukam kolumn, które mają w nazwie q6. Robię to bo sprawdziłem wcześniej, że tylko kolumny z odpowiedziami mają obok siebie q6
  column_names<-grep("q6",colnames(wynik))
  #zamieniam nazwy kolumn na cyfry od 1 do 9
  colnames(wynik)[column_names]<-c(1:length(column_names))
  return(wynik)
}

No dobra ale ta funkcja nie ma specjalnie zastosowanie do tego zbioru danych bo miałaby tylko zastosowanie dla zbioru danych w którym kolumny byłyby od góry do dołu puste. Dlatego użyję teraz bardzo przydatnej funkcji ddply(), która dzieli zbiór danych na mniejsze i pozwala na przekształcenie tabeli i scalenie jej na powrót. Argumenty tej funkcji są dość oczywiste, zbiór danych, nazwa kolumny według, której ma być podzielona tabela i na sam koniec nazwa funkcji.

badanie_1_dane<-ddply(badanie_1,.(blok),split_and_remove)
(badanie_1_dane)

Zamiana z “wide” na “long”

Jak już usunęliśmy braki danych to przyszedł czas na zamienienie tej bazy danych na long. Tak jak Szymon pokazywał można to zrobić za pomocą pakietu tidyr ale ja osobiście robię to za pomocą funkcji reshape() z pakietu reshape2. Korzystam z tej funkcji bo po prostu jest mi tak wygodnie poza tym ma ona dość duże możliwości. Pierwszy argument to nazwa zbioru danych, drugi to nazwy kolumn, które mają być zamienione, trzeci nazwa zmiennej docelowej, czwarty to kierunek zmiany (w tym wypadku na long).

badanie_1_long<-reshape(badanie_1_dane,varying=as.character(c(1:9)),v.names="gra_zauf",direction="long")
(badanie_1_long)